查看原文
其他

AI卷翻天,普通人也能当大导演

浪歌 IT之家 2023-06-11

嗨呀大家吼!这里是IT之家,我是浪歌。

Stable Diffusion 作为目前最火的“文生图”开源 AI,最近一年受到很多人的关注,只需要一句 Prompt(提示词),就能在你的电脑上生成 N 多图片,别提多好用了。


而就在上周,Stable Diffusion 的开发公司 Stability AI,又放了个大招!

Stability AI 推出了一款新的文本生成动画工具包 Stable Animation SDK,支持文本、文本 + 初始图像、文本 + 视频多种输入方式。

Stability AI 官方介绍,目前该 AI 支持三种视频生成模式:

1、文本转动画:用户输入提示词(Prompt)并调整各种参数以生成动画,和‍ Stable Diffusion 的“文生图”功能相似。

2、文本输入 + 初始图像输入:用户提供一个初始图像,该图像作为动画的起始帧。图像与文本提示词(Prompt)结合,生成最终的输出动画。

3、视频输入 + 文本输入:用户提供一个初始视频作为动画的基础。通过调整各种参数,根据文本提示词生成最终的输出动画。

另外,Stable Animation SDK 提供了多种模板风格可以选择,例如 3D 模型、仿真胶片、动漫、电影、像素风格等等。

而 Stable Animation 的使用也非常简单,例如你输入一句“一条有红色鳞片和绿色眼睛的龙”,Stable Animation 模型就会根据描述,生成匹配的 3D 模型,用户还可以通过添加或更改属性(如颜色、形状、大小、纹理、姿势等)来修改模型。

另外,Stable Animation 并不仅限于生成静态模型。它还允许使用自然语言命令对它们进行动画处理。例如,可以在描述中写道“让龙喷火”或“让龙飞起来”,该模型就会生成逼真的动画和栩栩如生的效果。

Stable Animation 最大的亮点就是降低了影视作品的产出难度。可能有IT之家的小伙伴还记得,之前有一个 YouTube 团队 Corridor ,就使用 Stable AI 的文字生成图片 AI Stable Diffusion,超低成本做了一部短篇动画出来。

由于特效实在太出彩了,短短三周,这个视频就收获了近 300 万播放量,27 万人点赞。

要知道,这只是一个 11 人小团队,花了 3 万美元成本制作出来的,这可比工业化影视生产效率高太多了。

而且,他们使用的 Stable Diffusion 是一个 AI 绘图软件,要做成动画只能一帧一帧的生成,还要自己训练模型 Lora,还是挺费劲的。

有了能自动生成视频的 Stable Animation,不仅能够进一步降低成本,对服化道、人员的需求也更低。

以后的视频大片,真有可能让几个人的小团队做出来。

另外,Stable Animation 的价格也不算太贵,大部分人都可以负担的起。

Stable AI 官网介绍,10 美元可抵 1000 积分,而在 Stable Diffusion v1.5 模型下,在默认设置值(512x512 分辨率,30steps)下,生成 100 帧(大约 8 秒)视频将消耗 37.5 积分。

官方也给出了一个按照不同分辨率,生成 100 帧影片的价格表:

根据这个表,浪歌计算了一下,哪怕是高清视频(1024X1024)一分钟也不过 1.35 美金,约合 9.45 元人民币。

这个价格,动画公司真的是拍马也追不上啊!

如果你觉得 Stable Animation 效果还差强人意,别急,还有一个更猛的视频生成 AI。

初创公司 Runaway 在今年推出了文字生成视频的 AI 模型 Gen-2,只要短短的一句话或者一张照片,就能生成一段视频。

官方介绍, Gen-2 可以让用户用任意的图像、视频或文本,生成酷炫大片,不管任何风格,Gen-2 都可以驾驭。

喜欢日系二次元?没问题!

想要真人出镜?搞起来!

比起 Stable Animation,Gen-2 的玩法更加多样:

1・一个描述语句,就能生成任意风格的视频


2・输入一幅图,再补充一句说明,按照你的需求,AI 会把图片中的部分元素修改,再转化为视频。

3・图像直接出视频,由 AI 直接把静态图变成视频。‍

另外还有视频特效化(通过引导词和辅助图片给视频增加特效),视频动漫化(将真人视频转化为动画)等多个实用功能。

基本你能想象的到的 AI 视频功能,Gen-2 都提供,以后影视行业“一人成军”真的不是梦了。

虽然 Gen-2 更加强大,但是价格也更贵了。Runway 是按照套餐包收费的,最便宜的套餐一年也要近千元人民币。

不过 Runway 的 Gen AI 目前也有很多限制,例如生成速度极慢,5 秒钟的视频需要三分钟左右,另外生成的视频有时会比较抽象。

不过,就像 AI 绘图刚出来时各种“抽象画风”一样,浪歌相信随着时间推移,AI 视频生成肯定也会越来越完美。

等到那个时候,你在抖音快手上刷到的视频很有可能都不是真人演的

小米 Civi 3 新品发布会将在 5 月 25 日下午 14:00 点正式发布,IT之家网站 & App 将会同步直播,欢迎观看!

另外,近期还有不少热门内容,点击下方蓝字即可查看:


AI这回要让导演失业了 ↓↓↓

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存